使用浮点实数实现标准深度学习算法。这呈现了在可能没有专用浮点单元（FPU）的低端设备上实现它们的障碍。因此，Tinyml的研究人员认为可以使用Integer操作在低端设备上培训和运行深神经网络（DNN）的机器学习算法。本文在纯C ++中提出了Pocketnn，轻型和独立的概念概念框架，用于仅使用整数的DNN训练和推断。与其他方法不同，PocketNN直接在整数上运行，而无需任何显式量化算法或定制的定期点格式。这是通过口袋激活来实现的，这是一个用于整数DNN的激活函数系列，以及称为直接反馈对准（DFA）的新兴DNN训练算法。与标准BackPropagation（BP）不同，DFA独立列举每个图层，从而避免在使用仅具有整数操作的BP时是一个关键问题的整数溢出。我们使用Pocketnn在两个着名的数据集，Mnist和Fashion-Mnist上培训一些DNN。我们的实验表明，DNN与我们的PocketNN接受过的DNN培训，分别在MNIST和Fashion-Mnist数据集中获得了96.98％和87.7％的准确性。精度非常接近使用具有浮点实数操作的BP培训的等效DNN，使得精度降解分别为1.02％p和2.09％p。最后，我们的PocketNN为低端设备具有高兼容性和可移植性，因为它是开源的开源，并在纯C ++中实现，没有任何依赖项。

In order to assist the drug discovery/development process, pharmaceutical companies often apply biomedical NER and linking techniques over internal and public corpora. Decades of study of the field of BioNLP has produced a plethora of algorithms, systems and datasets. However, our experience has been that no single open source system meets all the requirements of a modern pharmaceutical company. In this work, we describe these requirements according to our experience of the industry, and present Kazu, a highly extensible, scalable open source framework designed to support BioNLP for the pharmaceutical sector. Kazu is a built around a computationally efficient version of the BERN2 NER model (TinyBERN2), and subsequently wraps several other BioNLP technologies into one coherent system. KAZU framework is open-sourced: https://github.com/AstraZeneca/KAZU

与常规的闭合设定识别相反，开放式识别（OSR）假设存在未知类别，在训练过程中未被视为模型。 OSR中的一种主要方法是度量学习，其中对模型进行了训练以分离已知类别数据的类间表示。 OSR中的许多作品报告说，即使模型仅通过已知类别的数据进行培训，模型也会意识到未知数，并学会将未知类表征与已知类别表示分开。本文通过观察雅各布的代表规范来分析这种新兴现象。从理论上讲，我们表明已知集中的阶层内距离最小化会减少已知类表征的雅各布式规范，同时最大化已知集合中的阶层间距离会增加未知类别的雅各布式规范。因此，封闭式度量学习通过迫使其雅各布规范值有所不同，从而将未知的未知数与已知分开。我们通过使用标准OSR数据集的大量证据来验证我们的理论框架。此外，在我们的理论框架下，我们解释了标准的深度学习技术如何有助于OSR并将框架作为指导原则来开发有效的OSR模型。

鉴于大量的跨境流量，对行业的有效和有效控制对于保护人和社会免受非法行业的影响而在促进合法交易的同时变得更加重要。但是，交易级贸易数据集的有限可访问性阻碍了公开研究的进展，许多海关管理部门并未受益于基于数据的风险管理的最新进展。在本文中，我们介绍了一个进口声明数据集，以促进海关管理部门和数据科学研究人员领域专家之间的合作。该数据集包含54,000个具有22个关键属性的人为产生的交易，并且在维护相关功能的同时与CTGAN合成。合成数据具有多个优点。首先，释放数据集没有限制，这些限制不允许披露原始的导入数据。其次，制造步骤最大程度地减少了贸易统计中可能存在的身份风险。最后，已发布的数据遵循与源数据相似的分布，因此可以在各种下游任务中使用。通过提供数据及其生成过程，我们为欺诈检测任务打开基线代码，因为我们从经验上表明，更高级的算法可以更好地检测欺诈。

基于变压器的模型已在各个领域（例如自然语言处理和计算机视觉）中广泛使用并实现了最先进的性能。最近的作品表明，变压器也可以推广到图形结构化数据。然而，由于技术挑战，诸如节点数量和非本地聚集的技术挑战之类的技术挑战，因此成功限于小规模图，这通常会导致对常规图神经网络的概括性能。在本文中，为了解决这些问题，我们提出了可变形的图形变压器（DGT），以动态采样的键和值对进行稀疏注意。具体而言，我们的框架首先构建具有各种标准的多个节点序列，以考虑结构和语义接近。然后，将稀疏的注意力应用于节点序列，以减少计算成本，以学习节点表示。我们还设计简单有效的位置编码，以捕获节点之间的结构相似性和距离。实验表明，我们的新型图形变压器始终胜过现有的基于变压器的模型，并且与8个图形基准数据集（包括大型图形）的最新模型相比，与最新的模型相比表现出竞争性能。

图形神经网络（GNN）已被广泛应用于各种领域，以通过图形结构数据学习。在各种任务（例如节点分类和图形分类）中，他们对传统启发式方法显示了显着改进。但是，由于GNN严重依赖于平滑的节点特征而不是图形结构，因此在链接预测中，它们通常比简单的启发式方法表现出差的性能，例如，结构信息（例如，重叠的社区，学位和最短路径）至关重要。为了解决这一限制，我们建议邻里重叠感知的图形神经网络（NEO-GNNS），这些神经网络（NEO-GNNS）从邻接矩阵中学习有用的结构特征，并估算了重叠的邻域以进行链接预测。我们的Neo-Gnns概括了基于社区重叠的启发式方法，并处理重叠的多跳社区。我们在开放图基准数据集（OGB）上进行的广泛实验表明，NEO-GNNS始终在链接预测中实现最新性能。我们的代码可在https://github.com/seongjunyun/neo_gnns上公开获取。

Recent developments of dense retrieval rely on quality representations of queries and contexts coming from pre-trained query and context encoders. In this paper, we introduce TouR (test-time optimization of query representations), which further optimizes instance-level query representations guided by signals from test-time retrieval results. We leverage a cross-encoder re-ranker to provide fine-grained pseudo labels over retrieval results and iteratively optimize query representations with the gradient descent method. Our theoretical analysis reveals that TouR can be viewed as a generalization of the classical Rocchio's algorithm for pseudo relevance feedback, and we present two variants leveraging psuedo labels as either hard binary or soft continuous labels. We first apply TouR on phrase retrieval with our proposed phrase re-ranker. On passage retrieval, we demonstrate its effectiveness with an off-the-shelf re-ranker. TouR improves the end-to-end open-domain QA accuracy significantly, as well as passage retrieval performance. Compared to re-ranker, TouR requires a smaller number of candidates, and achieves consistently better performance and runs up to 4x faster with our efficient implementation.

在生物医学自然语言处理中，命名实体识别（NER）和命名实体归一化（NEN）是能够从不断增长的生物医学文献中自动提取生物医学实体（例如，疾病和化学品）的关键任务。在本文中，我们展示了伯尔尼（高级生物医学实体识别和归一化），这是一种改善以前的基于神经网络的NER工具的工具（Kim等，2019），采用多任务NER模型和基于神经网络的NEN模型实现更快，更准确的推理。我们希望我们的工具可以帮助为各种任务等诸如生物医学知识图形建设等各种任务来诠释大规模生物医学文本。

命名实体识别（ner）是从文本中提取特定类型的命名实体的任务。当前的NER模型往往依赖于人类注释的数据集，要求在目标领域和实体上广泛参与专业知识。这项工作介绍了一个询问生成的方法，它通过询问反映实体类型的需求的简单自然语言问题来自动生成NER数据集（例如，哪种疾病？）到开放式域问题应答系统。不使用任何域中资源（即，培训句子，标签或域名词典），我们的模型在我们生成的数据集上仅培训了，这在很大程度上超过了四个不同域的六个基准测试的弱势监督模型。令人惊讶的是，在NCBI疾病中，我们的模型达到75.5 F1得分，甚至优于以前的最佳弱监督模型4.1 F1得分，它利用域专家提供的丰富的域名词典。制定具有自然语言的NER的需求，也允许我们为诸如奖项等细粒度实体类型构建NER模型，其中我们的模型甚至优于完全监督模型。在三个少量的NER基准测试中，我们的模型实现了新的最先进的性能。

预测对象的姿势是核心计算机视觉任务。基于深度学习的姿势估计方法需要CAD数据来使用3D中间表示或项目2D外观。但是，当感兴趣对象的CAD数据不可用时，不能使用这些方法。此外，现有方法并未精确地反映了学习过程的透视变形。此外，由于自闭锁而尚未得到很好的信息损失。在这方面，我们提出了一种新的姿势估计系统，该系统由空间雕刻模块组成，该空间雕刻模块重构参考3D特征来替换CAD数据。此外，我们的新型转换模块，动态投射空间变压器（DPROST），转换参考3D功能，以在考虑透视失真的同时反映姿势。此外，我们通过新的双向Z缓冲（Biz缓冲区）方法克服了自闭锁问题，其提取了对象的前视图和自闭合的背视图。最后，我们建议一个透视电网距离损失（PGDL），从而能够稳定地学习没有CAD数据的姿势估计。实验结果表明，我们的方法在LineMod DataSet上占据了最先进的方法，以及LineMod-occlusion数据集上的可比性，甚至与在网络训练中需要CAD数据的方法相比。